El impuesto estructural de atención en RAG
El formato de los datos recuperados puede secuestrar la atención de los LLM, reduciendo el aprendizaje en contexto. Aprende a mitigar este efecto con estrategias efectivas.
#aprendizaje en contexto
Memoria Estructurada Orientada a Tareas en Aprendizaje Contextual Multimodal Dinámico
Descubre TASM: comprime la memoria de modelos multimodales sin entrenamiento, manteniendo rendimiento y adaptabilidad. Ideal para aprendizaje en contexto.
Bloqueo categórico previo: aprendizaje en contexto falla con datos estructurados
¿Por qué el aprendizaje en contexto falla con datos estructurados? El bloqueo de prior categórico limita a los LLMs. Descubre alternativas como LoRA.
Aprendizaje de operadores en contexto con Chain of Operators
Descubre CHOP: un marco que potencia modelos ICON para generalizar a operadores fuera de distribución sin reentrenar, reduciendo errores de inferencia.
Pose-ICL: Personalización de sujetos con control 3D de pose
Descubre Pose-ICL, un nuevo método de IA que permite controlar la pose de objetos personalizados en generación de imágenes con alta precisión y consistencia.
Priores estructurales no paramétricos para predicción de teoremas geométricos
Descubre cómo los priores estructurales no paramétricos y los grafos de precedencia permiten a los LLMs predecir teoremas geométricos con un 89.29% de precisión, superando modelos supervisados.
Planificación anticipada aumentada con hechos para agentes LLM
LWM-Planner: planificación anticipada con hechos para agentes LLM. Extrae hechos de experiencias, simula el mundo y mejora decisiones sin ajustes de parámetros.
Certificados finitos para determinación en contexto y teoría de umbral en modelos de lenguaje
Los certificados finitos verifican la determinación contextual en LLMs y separan emergencia real de artefactos métricos. Nuevo marco teórico.
Cabezas de vector de función: escritores y canceladores en aprendizaje en contexto
Un estudio revela que las cabezas de vector-función se dividen en escritores y canceladores, con roles opuestos en aprendizaje contextual. Conoce su impacto.
Aprendizaje en contexto de procesos puntuales con modelos de inferencia base
Nuevo modelo de inferencia base aprende en contexto a predecir eventos temporales sin reentrenamiento, compitiendo con modelos especializados.
Aprendizaje en contexto de ecuaciones estocásticas con modelos fundacionales
Descubre cómo FIM-SDE estima con precisión funciones de deriva y difusión a partir de datos ruidosos, sin entrenamiento.
Atribución Mecanicista de Datos: Rastreando Orígenes de Entrenamiento en LLM
Descubre cómo la atribución mecanicista de datos rastrea el origen de las unidades interpretables en LLM y acelera su convergencia.
AMix-1: Camino hacia un modelo de proteínas escalable en tiempo de prueba
Descubre AMix-1, modelo de proteínas con escalabilidad en tiempo de prueba. Mejora drástica de actividad enzimática y diseño de proteínas con IA.
α-PFN: Búsqueda rápida de entropía mediante aprendizaje en contexto
Aprende cómo α-PFN acelera la búsqueda de entropía en optimización bayesiana con aprendizaje contextual, logrando 50x más velocidad sin sacrificar precisión.
TabSwift: Modelo Fundamental Tabular Eficiente con Atención por Filas
TabSwift ofrece inferencia eficiente en modelos tabulares mediante atención por filas y salida temprana adaptativa. Competitivo con TabPFN, ideal para despliegue práctico.
TabSwift: Modelo tabular fundamental eficiente con atención por filas
TabSwift: modelo tabular eficiente con atención por filas. Competitivo con modelos complejos, incluye salida temprana adaptativa para despliegues rápidos y de bajo costo.
Diversidad de tareas y aprendizaje en contexto en subespacios
Descubre cómo la diversidad de tareas de entrenamiento mejora el aprendizaje en contexto en transformers lineales. Un análisis teórico con subespacios de baja dimensión.
Rompiendo la barrera del ajuste: análisis multi-esquina sin hiperparámetros
Descubre cómo un modelo fundacional elimina la necesidad de ajustar hiperparámetros en el análisis multi-esquina, reduciendo costos de validación en más de 10x.
Demostraciones vs supervisión: clasificación de expresiones idiomáticas turcas
Descubre cómo los modelos supervisados y los LLMs con demostraciones compiten para clasificar locuciones turcas. ¿Cuál gana?
Aprendizaje de instancias múltiples en contexto
MIL en contexto: aprende con pocos datos etiquetados en un solo pase sin reentrenamiento.